![arXiv:2412.15115v2 [cs.CL] 2025 年 1 月 3 日](/simg/4/45710a4eac78ed92881e3cc343e9657224c66237.webp)
机构名称：
¥ 2.0
在本报告中，我们介绍了 Qwen2.5，这是一系列全面的大型语言模型 (LLM)，旨在满足多样化的需求。与之前的迭代相比，Qwen 2.5 在预训练和后训练阶段都有了显著的提升。在预训练方面，我们将高质量的预训练数据集从之前的 7 万亿个 token 扩展到 18 万亿个 token，为常识、专家知识和推理能力提供了坚实的基础。在后训练方面，我们实现了超过 100 万个样本的复杂监督微调，以及多阶段强化学习，包括离线学习 DPO 和在线学习 GRPO。后训练技术显著增强了人类偏好，并显著改善了长文本生成、结构化数据分析和指令跟随。
arXiv:2412.15115v2 [cs.CL] 2025 年 1 月 3 日
主要关键词
![arXiv:2412.15115v2 [cs.CL] 2025 年 1 月 3 日PDF文件第1页](/bimg/8/84f570266310c1708efb78dd9f4e3bcdb9ac1f80.webp)
![arXiv:2412.15115v2 [cs.CL] 2025 年 1 月 3 日PDF文件第2页](/bimg/0/03e85a4683ba94ffc945eb8e3c5a45062097dcfd.webp)
![arXiv:2412.15115v2 [cs.CL] 2025 年 1 月 3 日PDF文件第3页](/bimg/0/0ef4b5297264e3ac01d13e8df2bb96e9cf7cf4e1.webp)
![arXiv:2412.15115v2 [cs.CL] 2025 年 1 月 3 日PDF文件第4页](/bimg/c/c32f4cf0ea3117295d6a26d1d2818a4e78da87f0.webp)
![arXiv:2412.15115v2 [cs.CL] 2025 年 1 月 3 日PDF文件第5页](/bimg/0/0a59ff8c1cf7e1cf49c9ae855a2a7cad7189b7c2.webp)
相关文件推荐
![arXiv:2501.04661v1 [cs.CL] 2025 年 1 月 8 日](/simg/9/9fe58559bff64e656410c92855b2f5594d1bede8.png)
![arXiv:2501.05289v1 [cs.IR] 2025 年 1 月 9 日](/simg/5/5d961e2422de57fa52eb5a0c18014b9d11ed2948.webp)
![arXiv:2501.01291v1 [cs.AI] 2025 年 1 月 2 日](/simg/6/653deeb5efad78e36f3c2e27b9e7aba48761d425.png)
![arXiv:2501.01291v1 [cs.AI] 2025 年 1 月 2 日](/simg/f/f52a3aac91627968cfd5ee7f349b9908aeff8184.png)
![arXiv:2502.02614v1 [astro-ph.IM] 2025 年 2 月 3 日](/simg/9/9b3f3c31d0ebb7d01d2dff47d5a7360450f7689c.webp)
![arXiv:2501.15972v1 [cs.AI] 2025 年 1 月 27 日](/simg/1/1a9dbfeb5aeccdefb4a1c131837337419b420280.webp)
![arXiv:2502.02354v1 [cs.LO] 2025 年 2 月 4 日](/simg/d/d48731e0c9bcee63d92c7a739fb8e6e1c3cedf18.webp)
![arXiv:2502.01012v1 [cs.LG] 2025 年 2 月 3 日](/simg/6/64c8887d233e4545c48c2c43afc145dcc5acc984.webp)
![arXiv:2502.02897v1 [quant-ph] 2025 年 2 月 5 日](/simg/3/36382f3f8ef0b77a71571602346f9b98b184a0d4.webp)
![arXiv:2502.01527v1 [cs.LG] 2025 年 2 月 3 日](/simg/e/e1fd4be4a8f1766e1b569d55fce3ac807267f447.webp)
![arXiv:2502.02860v1 [quant-ph] 2025 年 2 月 5 日](/simg/1/1cda55e5cc606fdd4b169f04c4f101812c963599.webp)
![arXiv:2501.02681v1 [quant-ph] 2025 年 1 月 5 日](/simg/8/8ab98ed939b0aea654626d33b40aa484507e2024.webp)
![arXiv:2501.04957v1 [quant-ph] 2025 年 1 月 9 日](/simg/4/4675215255facc1da84b045fc2a0a6414a23d5fc.png)
![arXiv:2501.03144v2 [quant-ph] 2025 年 1 月 9 日](/simg/f/fb14ff9a45d072705a8b7332dec8c1dbd9ad4d5a.png)
![arXiv:2501.00149v2 [physics.ao-ph] 2025 年 1 月 6 日](/simg/d/d218e1fe75ebf62623e6767a32680742b198a723.png)
![arXiv:2501.02222v1 [quant-ph] 2025 年 1 月 4 日](/simg/f/f95cddee3822ad37b49a6359a5bd92dff9e11ec7.png)
![arXiv:2403.00260v1 [cs.CL] 2024 年 3 月 1 日](/simg/f/f9197234520089f0922e9140c06c6ac03608c9c9.png)
![arXiv:2210.06661v5 [quant-ph] 2025 年 1 月 14 日](/simg/2/2e27e4da944a3e3fc6c4a296a0aab0fdf74e1449.webp)
![arXiv:2310.01432v3 [cs.CL] 2024 年 12 月 9 日](/simg/e/e7ceb8e93071edf9a053df0cbcf1b011fa58d8b3.webp)
![arXiv:2006.05113v2 [cs.CL] 2020 年 10 月 2 日](/simg/f/f9b32c624c61412e9dff405b83c1a5f8f2674879.webp)
![arXiv:2206.13217v1 [cs.CL] 2022 年 6 月 27 日](/simg/6/6dd41586dfdbe9d865c0331641d242ed17d511f8.webp)
![arXiv:2502.04331v1 [physics.class-ph] 2025 年 2 月 5 日](/simg/2/24083f27eab7864a0982695dd31b945e9e36d9cb.webp)
![arXiv:2502.07192v1 [cs.CV] 2025 年 2 月 11 日](/simg/d/d0976242ca6a3c04cc3b5d1594fcaee6c780e736.webp)
![arXiv:2408.09083v2 [quant-ph] 2025 年 1 月 8 日 - CyI](/simg/1/1ff69a8fc848debb986e4e7ecad0601da49e4af9.webp)
![arXiv:2501.07085v1 [quant-ph] 2025 年 1 月 13 日](/simg/f/f8c4a3482ac030d9dbe0a2f5baacd985075c8d1c.webp)
![arXiv:2501.16335v2 [quant-ph] 2025 年 1 月 29 日](/simg/f/f7a41eba8de79ac978b9aa03aaea7cff106eb171.webp)
![arXiv:2502.02845v1 [physics.optics] 2025 年 2 月 5 日](/simg/3/33e49eed7cc3f9de951fe511fb81410dc9f4a64e.webp)
![arXiv:2109.13187v1 [cs.CL] 2021 年 9 月 27 日](/simg/7/72c77591175f8be49103cb974c912552fea76256.webp)
![arXiv:2305.08264v1 [cs.CL] 2023 年 5 月 14 日](/simg/2/224978bf81ee1923c87510f0608af411428da40d.webp)
![arXiv:2501.12000v1 [quant-ph] 2025 年 1 月 21 日](/simg/3/3f7175e6d090b7acffa65426d65c6c3ada08b704.webp)